新人新语 | 刘利斌：让AI无限逼近人类的运动能力
关键词：智源新星 运动智能
编者按
2020年，北京大学前沿计算研究中心引进的新体制研究员（助理教授）刘利斌博士，成为首位北京智源研究院“智源新星计划”入选者。
以下为智源研究院对刘利斌博士的采访，内容获授权转载自智源社区（ID: baaibjkw）。转载请联系原作者。
刘利斌，于2009年、2014年获得清华大学学士学位和博士学位，随后分别在加拿大不列颠哥伦比亚大学及美国迪士尼研究院进行博士后研究，后加入美国硅谷创业公司 DeepMotion Inc. 担任首席科学家，十多年的学术生涯，可谓走遍学、产、研。但他思考的主题却始终只有一个：如何让人工智能拥有无限逼近人类/动物的运动能力。
这个问题即所谓的“运动智能”。
顾名思义，“运动智能”这个概念描述的是人工智能中与运动相关的能力，包括对运动的观察、理解、记忆以及对身体的控制、协调和适应能力。它包含广阔内容的研究领域，涵盖了认知科学、生物力学、机器人学、计算机视觉、图形学等多个学科。通过研究运动智能，我们可以赋能人工智能以有良好的运动能力，使其去探索更大的空间，并完成更加复杂的任务。 目前，回国后的刘利斌正在积极组建团队以及寻找合作者，以期打通从运动获取、理解，到运动生成、仿真，以及运动迁移和应用，这一整个“运动智能”的闭环。
问
从您的视角，如何理解“运动智能”？
刘利斌：对于“运动智能”，百度百科上已经有一种定义，这里我说下我的理解。
首先，我认为完整的人工智能应该具有良好的运动能力，它可以支持智能体探索较大的空间，并能完成更加复杂的任务。因此，我们希望未来的人工智能能够主动地去感知运动，自主的学习新的运动技能，并且能够根据实际情况来协调运用这些技能，从而与人和其他人工智能进行交互与协作。
从狭义上讲，我们的研究对象主要是人和动物的仿真模型以及类人机器人、机器狗等仿生机器人。我们希望能够让这些智能体拥有接近于人和动物运动感知、决策和身体控制能力。相对于更加广义的“人工智能”，我们认为“运动智能”这个概念可以更加准确地描述这种与运动相关的能力。
从实现上来看，“运动智能”这个概念其实可以包括了很多相关领域的内容，例如计算机视觉、图形学、认知科学、机器学习、机器人设计制造等方向。我们希望能把相关领域里与运动相关的成果整合起来，让人工智能拥有更好的运动智能。
问
可否介绍一下您从UBC，到迪士尼研究院，再到DeepMotion Inc.担任首席科学家的经历，以及在这个过程中的研究成果？
刘利斌：我在清华大学拿到博士学位之后就前往 UBC 做博后了。这段时间的工作主要是延续了我在博士时期的研究，也就是寻找一种通用的方法让智能角色学习广泛的运动技能。
过去很长一段时间，在机器人和虚拟角色运动控制领域里，比较成功的方法通常需要我们对目标动作拥有相当的领域知识，并且控制策略的设计和实现往往比较繁琐。我们经过一番探索，最终找到一种基于强化学习的方法。这个方法能够让受控角色通过不断的试错过程，从任意参考运动数据模仿学习相应的运动技能。结合我博士期间的一些工作，这个方法可以非常高效的实现对大量单个动作的学习。这也是相关领域里第一个能够高效和普适的应对不同角色和动作技术的方法，特别是处理一些很复杂的动作技术，例如武术、舞蹈等。这些运动因为缺少相关的领域知识，往往很难利用传统的方法让智能角色学会这些技能，而我们的方法是在相关领域的一项突破。
在 UBC 的一年博后合约到期后，我加入了迪士尼公司在匹兹堡的研究院。在迪士尼的这段时间里，我的研究兴趣开始转向如何让智能角色能够综合应用所学习到的技能来完成更复杂的任务上，并且在这个方向上做了一系列的工作。在其中的一项工作中，我们着重考察了易变环境和存在未知干扰条件下的运动控制，在这样的环境下智能角色需要主动学习使用多种技能才能保持平衡。我们提出了一种基于 Q-Learning 控制规划算法，从而有效的让智能角色在合适的时间选择合适的动作。
而在另一项工作中，我们尝试让智能角色学习组合几种动作技巧来完成更复杂的任务。打篮球就是这类运动的一个典型例子。智能角色需要协调手臂的运球技术和整个身体的运动才能保证稳定的运球，而篮球的飞行过程对初值的敏感性也对训练过程带来很大的困难。我们提出了一种结合优化和强化学习的方法有效的解决了这些困难，首次实现了能够打篮球的智能角色。
研究之余我也参与了迪士尼内部的一些小型项目，包括一些为迪士尼乐园开发新的机器人的研究。我们让小型人形机器人利用模仿学习实现人的动作，取得了不错的效果。
不幸的是2017年前后迪士尼公司解散了几个研究院，匹兹堡的实验室也在其中。不过我在那之前收到了几个清华的师兄的邀请，加入了硅谷的一家创业公司，也就是现在的 DeepMotion Inc。
在这段时间我主要关注于运动控制技术的落地，并且参与公司几个主要产品项目的开发，希望能够将运动控制和动画技术转变为业界可用的产品。我们开发的 VR 追踪技术能够利用少量的追踪点信息实时演算恢复物理真实的用户全身姿态，并且允许用户与场景进行实时互动，从而提供更具沉浸式的 VR 体验。而近一年多来我们开始对基于视觉的运动感知技术产生了兴趣，开发了基于肢体追踪的“Animate3D”技术，允许用户从视频中捕捉和重建三维全身动作。最近这部分技术产品正在公司网站上公测，也欢迎大家去试试看。
总体来讲，我的研究目标始终是寻找通用的运动控制方法，并由此让智能角色像人一样动起来。我们过去的研究，在这一领域开创性地提出了一系列方法，首次实现了在变化环境下对很多复杂运动技能的学习和综合应用。其中一些方法目前仍然是领域内的 State-of-The-Art。
问
您觉得在“运动智能”这一领域，目前主要的技术挑战和机遇有哪些？有哪些产业应用落地的场景？
刘利斌：我觉得让仿生机器人和仿真角色动起来，本身就是一项非常具有挑战性的问题，并且有不言自明的重要性。应该说这个领域的研究仍然处于一个不够成熟的阶段。
从与我的研究直接相关的部分来看：
首先在动作感知和获取方面，目前成熟的技术仍然需要比较专用的设备，基于更加通用信息的动作获取方式（例如视觉输入或者说视频输入）在稳定性质量上还有很大的问题。
其次在动作技能的学习方面，目前主要的学习方法（例如基于强化学习或者策略优化）都存在成本高并且结果可控性差的问题。应该说我们目前还没有完全理解人和动物的动作学习过程，通常还只能把每个或者一类动作技能单独来考虑，如何把学习成果经验化并指导新的学习还是一个未解的问题。
另外让机器人模仿学习人和动物的运动依然是一项挑战。一方面从仿真环境到真实环境的迁移还面临着巨大的 Reality Gap，另一方面目前机器人硬件上的限制也为其获得更高的运动智能带来很大的困难。
产业应用方面，我觉得除了传统上的与运动生成和动画技术相关的电影、游戏领域，一个相对比较近期的应用场景可能是虚拟主播以及虚拟社交方面。结合运动感知和运动生成技术我们可以有望为用户提供更加定制化和可交互的体验。
另外一方面，结合对运动的理解，我们可以获取更深层次的运动相关信息，比如说人在运动时身体的稳定性乃至对关节肌肉的控制情况，这些信息在专业体育训练、医疗辅助、看护服务等相关的领域可以有很大应用。
除此之外，目前虚实结合的运动技能学习是机器人领域的研究热点之一。长远来看，将运动智能技术应用到机器人上，实现可定制的多用途的服务机器人是一个很有意义的应用场景。
问
您回国后，从长远来看，如何规划自己的研究课题？
刘利斌：目前我的研究工作主要还是围绕运动控制和动作技能学习方面，近期会比较重点关注多技能学习以及运动技能的迁移学习，以及多智能体协作和对抗等问题。
长远来看，我希望将研究领域扩展到“运动智能”的其他相关领域，包括基于计算机视觉的运动感知与获取、机器人设计、以及虚实结合的机器人运动控制等方面。同时也希望与业界交流，共同探索可能的技术落地方向。
作者 | 贾伟
来源 | 智源社区
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。